Stability of Bagged Decision Trees

Riassunto: Il Bagging è una tecnica di aggregazione, in cui uno stimatore viene ottenuto come media di predittori calcolati su campioni bootstrap. Gli alberi di decisione con il bagging quasi sempre migliorano il predittore originario, ed è opinione comune che l’efficacia del bagging sia dovuta alla riduzione della varianza. In questo lavoro mostriamo un contro-esempio e diamo evidenza sperimentale al fatto che il bagging stabilizza la predizione bilanciando l’influenza delle unità di training. Unità molto influenti vengono pesate di meno a causa della loro assenza in alcuni dei campioni di bootstrap. Abbiamo quindi testato empiricamente alcune recenti teorie che mettono in relazione stabilità ed errore di generalizzazione. L’ipotesi di stabilità è stata valutata in base a diversi benchmark, e mostriamo come il processo di bilanciamento dell’influenza dei singoli esempi migliora significativamente la stabilità, che a sua volta può migliorare la capacità di generalizzazione.